\documentclass[12pt,a4paper]{article}
\usepackage{geometry}
\usepackage{ctex}
\geometry{a4paper, margin=1in}
\usepackage{titlesec}
\usepackage{graphicx}
\usepackage{booktabs}
\usepackage{hyperref}
\usepackage{enumitem}
\usepackage{longtable}
\usepackage{algorithm}
\usepackage{algorithmic}
\usepackage{amsmath}
\usepackage{amssymb}

\title{分布式计算论文综述：混合会议综述模板}
\author{黄志文 241607010115 电子信息}
\date{\today}

\begin{document}

\maketitle

\section*{摘要}


\section{引言}
\subsection{会议背景与意义}
本综述覆盖以下会议：\textit{ICPP}（并行处理国际会议）。这些会议在联邦学习等方向上有较多交叉点，但研究重点各有侧重。
\\ \textit{ICPP}是计算机科学领域顶级的并行处理与分布式系统会议之一，吸引了大量关于高性能计算、分布式系统以及相关优化技术的研究成果。
近年来，ICPP在联邦学习领域的研究涉及算法创新、性能优化、异构模型支持和隐私保护等方面，并着重于研究提升联邦学习在异构设备上的效率、减少通信成本、增强模型的个性化能力以及提高隐私保护的可靠性。
这些研究方向不仅在并行计算的算法设计上提供了新的思路，也为硬件、系统架构以及应用层提供了创新的解决方案。
\subsection{综述目标}
本综述的目标是：
\begin{itemize}
    \item 总结跨会议的研究主题与贡献。
    \item 比较会议间的差异与交叉点。
    \item 提炼研究趋势与挑战，提出未来研究建议。
\end{itemize}

\subsection{综述范围}
本文涵盖例如\textit{ICPP}在近三年的研究论文，按主题统一分类，共分析\textit{15}篇论文。

\section{研究主题分类与分类分析}
\subsection{主题分类}
根据研究内容，将论文按以下主题分类：
\begin{enumerate}
    \item \textbf{硬件优化与协同设计}：多核、GPU、TPU等硬件环境下的性能提升。
    \item \textbf{分布式系统}：容错机制、一致性协议与大规模分布式架构。
\end{enumerate}

\subsection{论文总览与分类表}
用表格汇总论文信息，包括论文标题、作者、主题分类、核心技术和主要贡献等，方便快速查看。
\begin{table}[h!]
    \centering
    \resizebox{\textwidth}{!}{
    \begin{tabular}{|l|l|l|l|l|l|}
    \hline
    \textbf{编号} & \textbf{主题} & \textbf{会议} & \textbf{标题} & \textbf{核心技术} & \textbf{主要贡献} \\ \hline
    1 & 分布式系统 & ICPP & Rethinking Personalized Federated Learning from Knowledge Perspective & 动量更新机制、自适应知识融合矩阵与知识蒸馏  & pFedAMF框架从知识视角解决全局与本地知识遗忘问题  \\ \hline
    2 & 分布式系统 & ICPP & ChronusFed: Reinforcement-Based Adaptive Partial Training for Heterogeneous Federated Learning & 动态轮次调整机制和可定制部分训练框架 & 设计了首个利用强化学习调整本地训练轮次的联邦学习框架 \\ \hline
    3 & 分布式系统 & ICPP & FedCA: Efficient Federated Learning with Client Autonomy & 早期传输与重传机制 & 提出了赋予客户端自治能力FedCA机制 \\ \hline
    4 & 分布式系统 & ICPP & Federated Edge Learning with Blurred or Pseudo Data Sharing & 模糊数据共享与伪数据共享 & 提出了数据模糊和伪数据共享算法 \\ \hline
    5 & 分布式系统 & ICPP & FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering & 基于模型权重的客户聚类技术 & 提出权重驱动的客户端聚类框架FedClust \\ \hline
    6 & 分布式系统 & ICPP & HASFL: Harnessing Heterogeneous Models Across Diverse Devices for Enhanced Federated Learning & 采用循环组训练的分裂式联邦学习 & 提出了一种用户分组算法 \\ \hline
    7 & 分布式系统 & ICPP & Gradient Free Personalized Federated Learning & 零阶优化方法 & 提出了首个无梯度的个性化联邦学习方法pFedZO \\ \hline
    8 & 分布式系统 & ICPP & Credit-based Differential Privacy Stochastic Model Aggregation Algorithm for Robust Federated Learning via Blockchain & 无偏差分隐私机制 & 首次结合区块链的联邦学习框架 \\ \hline
    9 & 分布式系统 & ICPP & Learning From Your Neighbours: Mobility-Driven Device-Edge-Cloud Federated Learning & 设备内模型聚合及动态设备选择 & 提出并验证了新型设备选择和聚合策略 \\ \hline
    10 & 分布式系统 & ICPP & ASFL: Adaptive Semi-asynchronous Federated Learning for Balancing Model Accuracy and Total Latency in Mobile Edge Networks & 深度强化学习动态调整滞后容忍度 & ASFL实现联邦学习中延迟与精度的高效平衡 \\ \hline
    11 & 分布式系统 & ICPP & FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks & 分类器权重聚合与监督对比损失 & 提出通过分类器权重聚合来解决异构模型问题 \\ \hline
    12 & 分布式系统 & ICPP & Spread: Decentralized Model Aggregation for Scalable Federated Learning & 分层架构设计的集群构建算法 & 提出通过分层架构和去中心化聚合技术解决联邦学习中的通信瓶颈问题 \\ \hline
    13 & 分布式系统 & ICPP & FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning & 深度强化学习 & 提出了能动态调整客户端影响因子的基于深度强化学习的FedDRL模型 \\ \hline
    14 & 分布式系统 & ICPP & An Online Learning Approach for Client Selection in Federated Edge Learning under Budget Constraint & 在线学习与动态决策 &  FedL框架解决资源优化与约束满足问题 \\ \hline
    15 & 硬件优化与协同设计 & ICPP & Eco-FL: Adaptive Federated Learning with Efficient Edge Collaborative Pipeline Training & 边缘协作流水线训练 & 提出了基于边缘协作流水线模型训练的层次化FL系统框架 \\ \hline
    \end{tabular}
    }
    \caption{跨会议论文分类总览}
    \label{tab:papers}
\end{table}


\section{各主题详细分析}
\subsection{主题 1：分布式系统}

\subsubsection{ICPP}
\begin{itemize}
    \item Xia等\cite{xia_chronusfed_2024}提出了\textit{ChronusFed}，通过动态epoch调整机制和定制化部分训练框架优化了模型训练效率，解决了由于硬件资源限制导致的滞后问题。
    \item Islam等\cite{islam_fedclust_2024}提出了\textit{FedClust}，通过权重驱动的客户端聚类解决了数据异构性的问题，提高了模型精度和收敛速度。
    \item Hao等\cite{hao_hasfl_2024}提出的\textit{HASFL}框架支持异构模型，通过环形组训练提升了在资源受限环境中的模型精度。
    \item Jang等\cite{jang_fedclassavg_2023}提出的\textit{FedClassAvg}通过本地表示学习实现了异构神经网络上的个性化联邦学习。
    \item Lv等\cite{lv_fedca_2024}提出的\textit{FedCA}通过客户端自主权机制提升了联邦学习的效率，减少了计算和通信瓶颈。
    \item Chen等\cite{chen_gradient_2024}提出的\textit{pFedZO}采用无梯度个性化联邦学习框架，解决了梯度获取困难和数据异构性问题。
    \item Yao等\cite{yao_rethinking_2024}提出的\textit{pFedAMF}通过自适应模型融合框架优化了个性化联邦学习的知识平衡。
    \item Nguyen等\cite{nguyen_feddrl_2022}提出的\textit{FedDRL}利用深度强化学习解决了非独立同分布数据的问题，提高了全局模型的收敛性。
    \item Yu等\cite{yu_asfl_2023}提出的\textit{ASFL}框架通过设备选择和训练阶段的深度强化学习优化了模型精度与延迟的平衡。
    \item Zhang等\cite{zhang_learning_2023}提出的\textit{MIDDLE}通过移动驱动的设备-边缘-云联邦学习框架加速了模型训练。
    \item Hu等\cite{hu_spread_2023}提出的\textit{Spread}通过分散式模型聚合改善了系统的可扩展性。
    \item Li等\cite{li_federated_2024}提出的\textit{Blurred Data Sharing Federal Edge Learning}算法通过模糊或伪数据共享提高了模型的准确性和能效。
    \item Du等\cite{du_credit-based_2023}提出的\textit{Cre-DPSIGN}框架通过区块链实现了稳健的联邦学习，增强了隐私保护和系统鲁棒性。
    \item Su等\cite{su_online_2023}提出的\textit{FedL}框架通过在线学习和迭代控制优化了客户端选择，提高了模型质量。
\end{itemize}
\begin{itemize}
    \item \textbf{论文标题}：ChronusFed: Reinforcement-Based Adaptive Partial Training for Heterogeneous Federated Learning\cite{xia_chronusfed_2024}
    \item \textbf{研究问题}：本文探讨了在异构联邦学习（Heterogeneous Federated Learning, HFL）场景下，由于设备异构性和数据异构性导致的效率和性能问题。本文设计了一种动态、高效且能够适应异构场景的联邦学习框架ChronusFed。
    \item \textbf{方法与技术}：
    本文提出了名为 ChronusFed 的框架，通过引入动态轮次调整机制和可定制的部分训练框架，解决异构性所产生的问题。动态轮次调整机制基于深度强化学习技术，利用深度 Q 网络对模型当前状态进行建模，并通过关键评估指标提供输入，动态调整每轮训练中本地设备的训练轮次，从而在全局模型性能和训练资源开销之间达到平衡。而可定制的部分训练框架则通过最大覆盖算法，根据设备的计算能力分配模型的可训练参数，使得设备能够在各自能力范围内完成训练任务，同时最大程度地覆盖全局模型参数，避免重要参数因计算限制而被忽略。ChronusFed 的本地训练和全局聚合流程还采用了一种同步机制，通过对设备上传的参数和评估指标进行分析和聚合，确保全局模型能够以最优路径向目标收敛。该框架的设计不仅在理论上证明了其收敛性，还在实验中展示了显著的性能提升。
    \item \textbf{主要贡献}：本文设计了一个利用强化学习调整本地训练轮次的联邦学习框架，其动态性解决了固定轮次方法在异构场景下的效率问题。
    在多种数据集上的实验结果表明，ChronusFed 相较于现有方法在模型精度上平均提升了 4.8\%，
    最高提升可达 13.7\%。
    \item \textbf{不足与未来方向}：强化学习模型的训练在参数服务器端可能会引发计算负载问题，尤其在设备数量极为庞大的场景中。未来可以进一步优化强化学习模型的状态设计和奖励机制，以减少其计算开销并提升适用性；
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering\cite{islam_fedclust_2024}
    \item \textbf{研究问题}：本文主要解决联邦学习中由于非独立同分布数据分布导致的性能下降问题。文中提出了FedClust，一种通过基于模型权重的客户聚类技术，优化联邦学习性能的解决方案。
    \item \textbf{方法与技术}：
    FedClust 的核心方法是基于本地模型权重与客户端数据分布之间的内在关系，通过选择性地传输本地模型的部分权重来衡量客户端之间的相似性，并以此为基础构建聚类。具体而言，FedClust 通过以下步骤完成聚类：
    \begin{enumerate}
        \item 客户端对全局模型进行本地训练，并将部分权重发送到服务器。
        \item 服务器使用权重之间的欧几里得距离构造接近度矩阵，并采用自底向上的层次聚类算法对客户端进行聚类。
        \item 形成聚类后，每个聚类单独训练模型，提升了对非IID数据的适应性。
    \end{enumerate}
    FedClust还提供了一种动态机制，能够高效地将新加入的客户端分配到适当的聚类中，避免了重新构建聚类的高成本操作。
    \item \textbf{主要贡献}：FedClust通过仅传输部分权重来衡量客户端之间的相似性，降低了通信开销，并首次在联邦学习中结合层次聚类方法，以一轮通信实现高效的客户端分组。实验结果表明，与现有方法相比，FedClust 在多种非IID场景下实现了显著的性能提升。在 CIFAR-10 数据集上，FedClust 的模型准确率较传统方法提升了 45\%，通信成本减少了 2.7 倍。
    \item \textbf{不足与未来方向}：聚类数量的选择（即聚类阈值$\lambda$）对结果的影响较大，目前需要通过实验经验手动设置。
    未来可以考虑采用数据驱动的方法，动态调整最优阈值。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：HASFL: Harnessing Heterogeneous Models Across Diverse Devices for Enhanced Federated Learning\cite{hao_hasfl_2024}
    \item \textbf{研究问题}：本文主要关注如何在计算资源和数据分布高度异构的环境中实现高效的联邦学习，同时保证数据隐私。文章提出了一种支持异构模型协同训练的分裂联邦学习框架（HASFL），通过模型的分层结构设计和动态的分组优化策略，高效整合多设备的资源和数据，从而提升模型训练性能。
    \item \textbf{方法与技术}：为了应对设备异构性和数据分布不均的问题，HASFL框架通过一系列创新的方法和技术实现了高效协同训练。首先，HASFL引入了支持异构模型的分裂联邦学习方法，将每个设备上的模型分为浅层、协作层和尾部层。浅层负责初步处理数据，并在每轮训练后上传至服务器进行全局聚合；协作层则在环形组内进行共享训练，设备间依次传递中间层参数，从而实现数据共享和知识传递；尾部层保留在本地以确保数据隐私。这一设计不仅使得设备能够根据自身的计算能力选择适配的模型，还有效减少了通信开销。

    在分组策略上，HASFL提出了一种基于Lyapunov优化和上下文UCB（Upper Confidence Bound）算法的动态分组方法。Lyapunov优化通过虚拟队列的机制保证每个设备的参与频率公平，并根据设备的计算能力、数据分布和通信带宽等信息动态调整分组策略。上下文UCB算法进一步优化了分组的效率，利用设备的上下文信息（如计算性能和数据分布），在探索和利用之间实现平衡。
    
    HASFL框架还引入了环形分组训练方法。每个环形组由多个设备组成，组内设备交替完成协作层的训练和参数共享。在训练过程中，HASFL允许复杂模型的部分层在低计算能力的设备上运行，从而使数据丰富的设备也能够参与复杂模型的训练。最终，通过跨设备的协作训练，HASFL有效提升了非独立同分布数据场景下的模型性能。
    \item \textbf{主要贡献}：
    该框架首次提出了一种支持异构模型架构的分裂联邦学习方法，为异构设备协同训练提供了新的思路。
    与传统联邦学习方法相比，HASFL通过环形分组训练和动态分组策略，在非独立同分布数据场景下将模型准确率提升了20\%-30\%，
    并显著加快了全局模型的收敛速度。在CIFAR-10和HAM10000数据集上的实验结果表明，HASFL在30轮全局训练中的测试准确率比现有的MaxCommon方法高出约25\%。
    \item \textbf{不足与未来方向}：
    论文中提到的环形分组训练方法在设备数量较多时可能面临较高的计算复杂度，特别是在动态分组优化中，当设备规模扩大时，分组过程的时间开销可能显著增加。未来可以引入启发式算法或深度强化学习方法进一步优化分组策略，从而降低分组过程的计算复杂度。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks\cite{jang_fedclassavg_2023}
    \item \textbf{研究问题}：论文的研究问题聚焦在个性化联邦学习中的模型异构性问题。FedClassAvg提出了一个新的框架，通过只聚合分类器权重，解决了异构模型的问题，并优化了通信效率和计算复杂性。
    \item \textbf{方法与技术}：FedClassAvg是为了应对个性化联邦学习中的模型异构性问题而设计的，主要通过对分类器权重的聚合来实现个性化模型训练，同时在本地客户端训练过程中加入了监督对比损失以增强特征学习的稳定性。
    
    首先，FedClassAvg 的关键创新之一是分类器权重聚合。传统的联邦学习方法（如 FedAvg）要求所有客户端共享相同的模型架构，并通过聚合所有客户端的模型参数来更新全局模型。然而，这在异构模型环境下不适用，因为每个客户端的模型结构和训练数据分布都可能不同。为了克服这一问题，FedClassAvg 提出了仅聚合分类器部分的权重，而不是整个模型。FedClassAvg 将每个客户端的模型分为两个部分：特征提取器（Feature Extractor）和分类器（Classifier）。特征提取器的作用是将输入数据映射到特征空间，而分类器则根据这些特征决定数据属于哪个类别。

    其次，为了增强客户端模型在本地数据上的学习效果，FedClassAvg 引入了监督对比损失（Supervised Contrastive Loss）。该损失函数通过比较同类样本的特征表示，使得它们的表示更加相似，而不同类的样本则尽量被拉远。这种方法有助于提高特征表示的质量，稳定决策边界，避免因本地数据异构性而导致的分类错误。

    除了监督对比损失，FedClassAvg 还引入了正则化项，即近端正则化（Proximal Regularization），用于限制客户端分类器与全局分类器之间的差异，防止本地训练导致分类器的过度调整。

    \item \textbf{主要贡献}：FedClassAvg 主要的贡献在于提出了一种新的个性化联邦学习框架，通过只聚合分类器权重，而非整个模型参数，成功解决了异构模型带来的问题。实验结果表明，在非独立同分布（non-iid）数据情况下，FedClassAvg 的测试准确率明显高于其他方法，如 KT-pFL 和 FedProto。在 CIFAR-10 数据集上，FedClassAvg 相比 KT-pFL 提升了约 30\%的准确率，且其通信开销显著降低，通常仅需要传输 2KB 的分类器权重，而不像其他方法那样传输完整的模型参数或辅助数据。
    \item \textbf{不足与未来方向}：FedClassAvg 假设所有客户端的分类器具有相同的结构，这限制了模型的灵活性。如果不同客户端需要采用更为复杂或多样化的分类器架构，这种假设可能会影响模型的性能。因此，未来可以探索如何在允许不同分类器结构的情况下，仍能保持模型的高效性和准确性。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：FedCA: Efficient Federated Learning with Client Autonomy\cite{lv_fedca_2024}
    \item \textbf{研究问题}：论文主要解决了在联邦学习中，由于设备异构性、网络带宽限制和计算资源有限，导致训练效率低下的问题。文章提出了一种新的思路，即通过赋予客户端自治能力，使其能够根据自身的训练状态动态调整计算和通信策略，从而显著提高整体效率。
    \item \textbf{方法与技术}：论文提出了FedCA机制，通过赋予客户端自治能力，实现了基于客户端实时训练状态的灵活优化。首先，作者提出了一种新的统计进展（Statistical Progress）指标，量化了客户端在每轮训练中的迭代进展，利用这一指标，客户端能够根据每次迭代的贡献动态调整本轮训练的迭代次数，避免不必要的计算浪费。这个统计进展指标结合了余弦相似性和量级相似性，能够全面衡量训练过程中每次迭代对最终模型更新的影响，尤其适用于动态和异构环境下的资源管理。为了降低计算和存储开销，FedCA采用了周期性采样方法，通过分析多个训练轮次的统计进展曲线，降低了每轮训练所需的计算量，避免了全量快照的高存储需求。

    其次，论文提出了一种基于“净效用”函数（Net Benefit）的计算优化方法，客户端能够根据计算的边际收益与边际成本做出判断，自动决定是否提前停止本轮训练。此方法通过设定一个最优停止点，有效降低了计算资源的浪费。为了进一步优化通信效率，FedCA还引入了早期传输机制，当某些模型参数在训练过程中早期收敛时，客户端可以立即将这些参数更新传输给服务器，减少了等待整个训练轮次结束后才开始传输的时间。为了确保准确性，FedCA还设计了误差反馈机制，当提前传输的参数在最终训练后与预期结果存在较大偏差时，进行重传，保证了训练的有效性和模型的准确性。
    \item \textbf{主要贡献}：这篇论文的主要贡献在于它提出了将客户端自治性引入到联邦学习中的创新机制，通过动态调整计算和通信策略显著提高了系统的效率。FedCA通过赋予客户端对本地训练过程的控制权，成功解决了传统方法中服务器主导决策所带来的低效率问题。在训练CNN模型时，FedCA相比于传统的FedAvg方法，在每轮训练时间上减少了大约71.5\%的开销，且在达到接近最优准确度时，总体训练时间减少了45.3\%。对于LSTM和WideResNet模型，FedCA也表现出相当显著的提升，训练时间分别比FedAda和FedProx减少了18.8\%和45.5\%，显著缩短了总体训练时长。
    \item \textbf{不足与未来方向}：首先，FedCA假设客户端能够实时访问和分析自身的训练状态信息，这在某些实际应用场景中可能面临挑战，特别是在极端网络条件或设备性能差异较大的情况下，如何确保客户端能够准确判断并做出优化决策仍然是一个需要进一步研究的问题。其次，FedCA的优化策略主要集中在计算和通信的优化，但在数据分布不均的情况下，如何进一步改善数据异质性带来的负面影响，还需要进一步探索。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：Gradient Free Personalized Federated Learning\cite{chen_gradient_2024}
    \item \textbf{研究问题}：本文主要解决联邦学习中的两个核心问题：如何在资源受限设备上进行优化以及如何在客户端数据分布不均的情况下提升模型的个性化性能。
    针对以上两点，作者提出了一种无梯度的个性化联邦学习算法，通过利用零阶优化技术和个性化模型设计，实现了资源高效的无梯度联邦学习，并为数据异质性场景提供了有效的解决方案。
    \item \textbf{方法与技术}：本文的核心方法是将零阶优化与个性化联邦学习相结合，提出了两个算法：pFedZO 和 pFedZO-Heur。pFedZO 的目标函数被建模为一个二级优化问题，其中全局模型和个性化模型通过下端卷积（infimal convolution）进行连接。下端卷积引入了一个正则项，用以平衡个性化模型和全局模型之间的差异。
    为了解决梯度不可用的问题，本文利用零阶梯度估计器来逼近梯度，其计算方式是对目标函数值在随机扰动方向上的差异进行采样。通过该估计器，算法可以在不计算真实梯度的情况下对模型参数进行更新。pFedZO 使用该估计器对个性化目标进行优化，并通过多轮本地更新逐渐收敛至局部最优解。为了降低计算负担，文章还提出了 pFedZO 的改进版本 pFedZO-Heur，采用一次性更新代替多轮局部更新，从而在计算效率和性能之间实现平衡。
    \item \textbf{主要贡献}：文章首次将零阶优化与个性化联邦学习结合，提出了无梯度个性化联邦学习算法 pFedZO，该算法通过零阶梯度估计和局部目标平滑，有效解决了无梯度条件下的个性化模型训练问题。通过实验验证，在 MNIST 和合成数据集上，pFedZO 比传统的零阶优化方法 FedZO， 在测试准确率上提升了 5\%-6\%。与一阶方法 FedAvg和Ditto 相比，pFedZO 在性能接近的情况下，大幅降低了对梯度信息的依赖。而改进版本 pFedZO-Heur 在时间效率上提升了一个数量级，同时保持与 pFedZO 相当的性能。
    \item \textbf{不足与未来方向}：
    零阶优化方法本身计算成本较高，尤其是在高维数据或复杂模型中，随机采样和目标函数评估的开销可能成为瓶颈。未来可以优化零阶梯度估计器的采样策略，减少计算复杂度并提升在高维数据上的适用性。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：Rethinking Personalized Federated Learning from Knowledge Perspective\cite{yao_rethinking_2024}
    \item \textbf{研究问题}：文章关注个性化联邦学习（Personalized Federated Learning, PFL）领域的核心问题，即如何在保护数据隐私的前提下，通过协作训练实现模型的全局通用性和本地个性化之间的平衡。本文提出了从知识的视角重新审视个性化联邦学习的方法，以回答如何最大限度地保留和有效利用全局与本地知识的关键问题。
    \item \textbf{方法与技术}：为解决上述问题，作者提出了一个名为pFedAMF（Personalized Federated Learning Framework with Adaptive Model Fusion）的框架，该框架以知识保留和自适应融合为核心设计理念。通过结合全局模型、历史状态模型和本地模型的知识，该方法实现了知识遗忘的有效缓解。
    
    pFedAMF包含两个主要技术策略：第一，在模型更新和聚合的关键阶段引入了知识保留机制。全局模型在本地训练之前被保存，历史状态模型在聚合前被维护，从而避免知识在更新过程中被覆盖或遗失。通过引入动量更新机制，模型能够累积历史训练轮次中的全局和本地信息，进而增强知识的稳健性和持久性。第二，该框架引入了自适应知识融合矩阵，根据客户端的特定任务需求，在类别粒度上动态调整全局和本地知识的融合权重。每个客户端通过这一矩阵将全局模型的普适性、本地模型的个性化和历史状态模型的稳定性进行整合，从而生成个性化的融合模型。该框架还通过知识蒸馏技术，将融合模型中的精华知识传递至上传到服务器的模型，以提升全局模型的表现。
    
    \item \textbf{主要贡献}：论文通过实验证实了全局与本地知识遗忘现象的普遍存在及其对模型性能的影响，作者首次提出从知识角度重新审视个性化联邦学习问题，为这一领域的研究提供了新的视角。基于这一视角，本文提出的pFedAMF框架创新性地结合了动量更新机制、自适应知识融合和知识蒸馏技术，解决了现有PFL方法中知识遗忘和知识融合不足的问题。在CIFAR-10和CIFAR-100数据集上的实验结果显示，与最先进的方法相比，该框架在本地模型测试精度上分别提升了1.75\%和5.22\%，同时计算成本降低了82\%，通信成本降低了87\%。
    \item \textbf{不足与未来方向}：由于引入了自适应知识融合矩阵和知识蒸馏，计算复杂度的增加可能对低资源设备的适用性造成一定限制。此外，本文的实验主要集中在相对有限的客户端规模和数据分布场景中，未来需要进一步在更大规模和更复杂的真实世界应用中验证其有效性。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning\cite{nguyen_feddrl_2022}
    \item \textbf{研究问题}：本文提出了FedDRL（Federated Learning with Deep Reinforcement Learning-based Adaptive Aggregation），目的在于解决联邦学习中的非独立同分布数据问题，尤其是面对“簇偏”（Cluster-Skew）这一新型的非IID数据类型。FedDRL通过采用深度强化学习（DRL）来动态调整每个客户端在全局模型中的影响因子，从而提升联邦学习在非IID数据场景中的表现。
    \item \textbf{方法与技术}：FedDRL采用了基于深度强化学习的聚合方法，通过自适应地计算客户端的影响因子，改善了传统联邦学习方法对非IID数据的适应性。在传统的FL方法中，客户端的权重通常是通过样本数量来确定，这种方法虽然在IID数据上有效，但对于非IID数据，尤其是簇偏数据，可能导致某些客户端的模型对全局模型的贡献被低估，甚至会使全局模型趋向过拟合。FedDRL通过深度强化学习中的强化学习代理来自动决定每个客户端模型的权重，不再依赖于传统的硬编码规则。

    在该方法中，状态包括每个客户端的数据分布信息、损失值以及本地样本数量等。动作是为每个客户端分配一个影响因子，而奖励则通过衡量全局模型在所有客户端上的平均损失和偏差来计算。为了提高训练效率，FedDRL引入了两阶段的训练策略。第一阶段是在线训练，多个代理同时与环境交互并收集经验。第二阶段是离线训练，主代理使用从经验中提取的数据来优化其策略。具体来说，DRL代理通过估计每个客户端的影响因子，调整其对全局模型的贡献。通过这种方式，FedDRL不仅能够适应更广泛的数据分布，还能确保模型的聚合更具公平性，并减少因数据不平衡造成的性能损失。
    
    此外，FedDRL通过深度强化学习网络中的策略网络和价值网络，利用先进的策略梯度方法（如DDPG）来优化影响因子的分配，强化了模型的鲁棒性和效率。网络的设计包括多层感知机（MLP）结构，并通过带有Leaky ReLU激活函数的全连接层来提升性能。
    \item \textbf{主要贡献}：FedDRL的主要贡献体现在其对非IID数据，尤其是簇偏数据的有效应对。相比于传统的FedAvg方法，FedDRL通过自适应调整每个客户端的权重，显著提高了在非IID环境中的模型准确性。在CIFAR-100数据集上，FedDRL比FedAvg和FedProx分别提升了4.05\%和2.17\%。这一提升不仅在准确性上有所体现，还在训练效率上表现出色。尤其是在客户端数量较多（如100个客户端）且数据存在簇偏的情况下，FedDRL能有效减轻大簇数据对全局模型的过拟合影响，保持各个簇之间的公平性，从而提升全局模型的泛化能力。
    \item \textbf{不足与未来方向}：FedDRL当前主要设计用于同步联邦学习场景，无法直接应用于异步联邦学习中。在异步联邦学习中，客户端可以在不同时间上传更新的模型，这可能导致模型在不同客户端之间的更新步伐不一致，从而影响全局模型的质量。因此，如何将FedDRL方法推广到异步联邦学习环境，将是一个值得进一步研究的方向。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：ASFL: Adaptive Semi-asynchronous Federated Learning for Balancing Model Accuracy and Total Latency in Mobile Edge Networks\cite{yu_asfl_2023}
    \item \textbf{研究问题}：本文针对移动边缘网络（Mobile Edge Networks, MEN）中的联邦学习任务提出了一个关键问题：如何在保证模型精度的同时，显著减少训练过程中的总延迟。在 MEN 环境下，设备的计算能力和通信带宽差异巨大，导致传统联邦学习框架面临“慢设备效应”（Straggler Effect）、数据异质性、设备移动性以及通信延迟等一系列问题。这些问题严重影响了模型的训练效率和精度，阻碍了联邦学习在实际中的大规模应用。
    \item \textbf{方法与技术}：
    本文提出了一种名为 ASFL（Adaptive Semi-asynchronous Federated Learning）的框架，通过引入自适应机制和深度强化学习（Deep Reinforcement Learning, DRL），在动态网络条件下平衡延迟与精度。
    
    ASFL 的设计包含两个核心阶段：设备选择阶段和训练阶段。在设备选择阶段，框架利用贪心算法，根据设备的效用值动态选择能够对全局模型精度产生最大贡献的设备集合，同时避免访问原始数据以保护隐私。而在训练阶段，ASFL 引入了一种基于 Soft Actor-Critic with Discrete Actions（SACD）的深度强化学习算法，动态调整每轮参与设备的数量  $M_k$  和滞后容忍度  $\tau_k$ 。这种方法通过最大化延迟-精度目标函数，实时优化设备的参与策略。
    
    ASFL 的优势在于其显著的动态适应性：一方面，它能够在高数据异质性和网络条件变化的环境下稳定工作；另一方面，它采用熵正则化策略鼓励策略探索，避免陷入局部最优。
    \item \textbf{主要贡献}：论文提出了一种新的延迟-精度目标函数，将任务的延迟约束与模型精度统一建模，为动态联邦学习任务提供了一种新颖的优化思路。通过引入深度强化学习技术，ASFL 实现了对动态环境的高效适应，为联邦学习在异构设备条件下的优化提供了理论依据。
    实验表明 ASFL 在多个任务场景中显著优于现有方法。与 SAFA、FedCS 和 Oort 等基准方法相比，ASFL 在 Boston Housing 数据集上的延迟减少了 9 倍，在 MNIST 和 KDD Cup’99 数据集上的延迟分别减少了 5 倍和 19 倍，同时在模型精度方面也保持了领先表现。此外，ASFL 的延迟-精度目标值在异常检测任务中提高了 94\%，充分证明了该框架在延迟和精度优化上的优势。
    \item \textbf{不足与未来方向}：首先，滞后设备的处理策略主要依赖于滞后容忍值  $\tau_k$ ，这种方法在极端异构环境下可能会导致部分设备的训练效果被忽略，从而降低全局模型的泛化能力。其次，ASFL 框架中的深度强化学习算法对训练样本和计算资源有较高的需求，这在设备资源受限的场景中可能成为瓶颈。
    \\ 未来的研究方向可以围绕以下几个方面展开：一是探索更高效的强化学习算法，降低训练成本；二是结合真实设备和网络条件，进一步验证和优化 ASFL 的性能。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：Learning From Your Neighbours: Mobility-Driven Device-Edge-Cloud Federated Learning\cite{zhang_learning_2023}
    \item \textbf{研究问题}：这篇论文提出的 MIDDLE 框架解决了分层联邦学习（Hierarchical Federated Learning, HFL）中的两个关键问题：非独立同分布数据问题和动态设备选择问题。这些问题在大规模分布式学习系统中非常常见，尤其是在数据隐私保护、实时性要求较高的实际应用中，解决这些问题对于提高联邦学习系统的效率和准确度至关重要。
    \item \textbf{方法与技术}：
    论文提出的 MIDDLE 框架采用了几种创新的技术来优化分层联邦学习中的训练过程。首先，论文引入了设备内模型聚合的方法，设备在本地不仅依赖当前边缘模型进行训练，还将之前从其他边缘模型中获得的信息进行聚合。这种做法通过在设备上聚合不同边缘的模型，有效减少了由于数据分布差异导致的梯度漂移问题，确保设备模型更加均衡地吸收来自不同边缘的“补充知识”。其次，论文提出了一种基于模型相似性效用的动态设备选择策略，不再仅依赖设备的历史训练表现，而是依据设备本地模型与全局模型之间的相似性来选择设备。这种方法能够确保边缘服务器选择的设备对全局模型的优化贡献最大，从而加速模型的收敛。此外，论文还提出了一个相似性效用指标，利用设备模型和全局模型之间的梯度方向相似性来进行设备选择和模型聚合。相较于传统的设备选择方法，这种基于相似性效用的策略更加智能，能够有效促进设备模型的更新朝向全局最优，减少训练过程中可能出现的偏差。
    \item \textbf{主要贡献}：论文的主要贡献在于提出并系统分析了 MIDDLE 框架，该框架通过利用设备的移动性来解决分层联邦学习中的非IID数据问题，并加速了全局模型的收敛。
    实验结果表明，相比于传统的设备选择方法，MIDDLE 框架在多个任务上表现出了更快的收敛速度和更高的准确度，尤其在数据分布不均和设备动态变化的环境中，性能提升尤为明显。通过将设备间的动态信息共享和模型聚合相结合，有效减小了梯度漂移的影响，并加速了训练过程。相比传统方法，MIDDLE 提高了 30\% 到 50\% 的收敛速度。
    \item \textbf{不足与未来方向}：论文假设设备的移动性是完全随机的，但在实际应用中，设备的移动可能呈现出一定的规律性，例如根据地理位置或时间进行预测。未来的研究可以进一步探索如何利用设备的历史移动轨迹来预测设备的未来位置，从而进一步优化模型聚合和设备选择策略。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：Spread: Decentralized Model Aggregation for Scalable Federated LearningSpread: Decentralized Model Aggregation for Scalable Federated Learning\cite{hu_spread_2023}
    \item \textbf{研究问题}：在现代的联邦学习中，随着边缘设备数量的增加，模型聚合的通信开销成为了一个严重的瓶颈。本文通过提出一种名为“Spread”的新架构，针对这一问题提出了解决方案。Spread通过分层架构将模型聚合的任务去中心化，减少了聚合过程中的通信负担，从而提升了系统的扩展性和训练效率。
    \item \textbf{方法与技术}：论文的核心方法是通过一种分层架构（Spread）来去中心化模型聚合过程，从而优化大规模联邦学习中的性能。Spread采用了一种新的分层架构，将边缘设备组织成若干集群，并由集群头节点负责集群内的模型聚合工作，云服务器则负责集群间的聚合。这种分层设计的核心优势在于，通过将模型聚合的工作负载分散到多个边缘设备上，有效地减少了集中式聚合带来的通信拥堵，从而缓解了系统在大规模设备下的瓶颈问题。论文还设计了一个新的集群构建算法，采用贪心策略来选择集群头节点，并优化了集群内的设备分配，最大限度地降低了通信开销。为了进一步优化训练过程，Spread提出了一个自适应的聚合间隔算法，通过动态调整集群内和集群间的聚合频率，保证了系统在不同规模和异构环境下的高效运行。

    \item \textbf{主要贡献}：Spread的分层架构有效解决了大规模联邦学习系统中常见的通信瓶颈问题。实验结果表明，相比传统的PS架构，Spread能够实现8.05倍的训练速度提升，且在通信时间上减少了21倍。此外，相比于其他去中心化的Ring-Allreduce架构，Spread的训练时间也减少了5.58倍，显示出其在处理大规模设备时的显著优势。实验还表明，Spread能够在保持高精度的同时，显著提升训练效率，F1分数提高了5\%-10\%。

    \item \textbf{不足与未来方向}：Spread的分层架构虽然有效减少了通信拥堵，但仍然需要在集群头节点和云服务器之间进行定期的模型聚合，这在设备数量极大时仍可能成为性能瓶颈。因此，如何进一步优化集群间聚合的效率，减少云服务器的负载，仍然是未来研究的一个方向。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：Federated Edge Learning with Blurred or Pseudo Data Sharing\cite{li_federated_2024}
    \item \textbf{研究问题}：本文解决了在边缘计算环境下，如何在保证用户隐私的前提下，提高联邦学习模型的准确性，并优化能量消耗的问题。本文通过提出模糊数据共享与伪数据共享两种新型方法，尝试为这一问题提供解决方案，并且在多个实验场景中验证了其有效性。
    \item \textbf{方法与技术}：本文提出了两种创新的数据共享机制——模糊数据共享和伪数据共享。这些方法不仅考虑了隐私保护，还通过优化数据共享策略来提升模型精度，并有效降低能量消耗。
    
    模糊数据共享方法允许用户根据其隐私敏感性上传部分模糊处理的数据，这不仅减少了上传的数据量，还在一定程度上保证了数据隐私。作者设计了一个基于次模函数的收益函数，用于评估哪些模糊数据对提升全局模型有较大贡献。在此基础上，采用贪心策略来优化数据选择，从而最大化全局模型的性能，并限制能量消耗。这一策略通过引入一个次模优化问题，保证了即使在有限的通信和计算资源下，模型的精度也能够达到最优。

    伪数据共享方法则更进一步，通过数据蒸馏和生成对抗网络来生成代表性的伪数据。在这个过程中，首先对本地数据进行蒸馏，生成一个小规模的数据集，该数据集能够保留原数据的主要信息但大幅减少数据量。然后，利用GAN生成与原数据分布相似的伪数据，从而补充数据集中的多样性。伪数据共享不仅减少了上传数据量，减少了通信带宽的消耗，而且通过生成的伪数据增强了训练数据的多样性，进而提高了模型的训练效果。
    \item \textbf{主要贡献}：本文的主要贡献在于提出并验证了两种新颖的数据共享机制——模糊数据共享和伪数据共享。在实验部分，本文通过与传统的FedAvg、FedProx等算法的对比，展示了所提方法在多个数据集上的优越性。PdsFel算法在CIFAR-10数据集上比FedAvg和FedProx的精度高出4\%左右，在MNIST数据集上则达到了99.4\%的精度，相较于传统方法有显著提升。对于能量消耗的优化，BdsFel和PdsFel算法均能在保证较高精度的情况下显著降低能量消耗，特别是在CIFAR-10和MNIST数据集上的应用中，其能量消耗与传统方法相比减少了约20\%。
    \item \textbf{不足与未来方向}：在伪数据共享方法中，虽然数据蒸馏和GAN生成的伪数据能够有效提高模型的准确性，但数据蒸馏过程本身需要较高的计算资源，这对于计算能力有限的设备来说仍然是一个挑战。未来可以可以进一步优化数据蒸馏和GAN生成的过程，提升伪数据的质量，并降低计算开销。

\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：Credit-based Differential Privacy Stochastic Model Aggregation Algorithm for Robust Federated Learning via Blockchain\cite{du_credit-based_2023}
    \item \textbf{研究问题}：联邦学习的实际应用面临多方面的挑战，其中包括隐私泄露风险、恶意参与者（拜占庭工人）对全局模型的攻击以及现有方法对中心化服务器的依赖性。
    这篇论文针对上述问题提出了一个基于区块链的差分隐私鲁棒联邦学习算法，在无中心化假设的前提下，通过结合差分隐私机制和信用管理策略，实现对参与者隐私的保护和对恶意行为的鲁棒防御。
    \item \textbf{方法与技术}：
    论文中提出的 Cre-DPSIGN 算法整合了差分隐私保护技术、基于信用的工人管理机制以及区块链存储技术，通过智能合约实现去中心化的无偏采样和模型更新。

    差分隐私机制采用了两种无偏方法：CreFlip 和 CreGau。CreFlip 的核心思想是通过随机翻转梯度符号来实现隐私保护，其翻转概率由差分隐私预算 $\epsilon$ 控制。reGau 则通过在梯度上添加零均值的高斯噪声实现隐私保护，并结合符号化操作确保梯度方向的一致性。这种方法不仅避免了传统有偏差分隐私机制导致的性能退化，还在理论上保证了隐私保护的效果。

    论文中还提出了一种基于工人信用的动态管理机制，用于筛选出高质量的参与者并过滤掉潜在的恶意工人。工人的信用值通过其上传梯度与全局模型梯度的相似性动态更新，相似性采用余弦相似度进行度量。信用值高的工人在后续轮次中更有可能被采样参与模型更新。为了实现无偏采样，论文通过智能合约 FairChoose 基于工人信用值对所有参与者进行加权随机采样。

    区块链技术的引入则解决了去中心化存储和操作的需求。工人的梯度更新和信用值变化通过智能合约执行并记录到区块链上，确保了训练过程的透明性和数据的防篡改性，从而消除了对可信中心服务器的依赖。
    \item \textbf{主要贡献}：
    文章提出了提出了无偏差分隐私机制（CreFlip 和 CreGau），在理论上解决了传统差分隐私机制有偏性的问题。基于此无偏差分机制，设计了 Cre-DPSIGN 算法，结合差分隐私、信用管理和区块链技术，在无中心服务器的环境下实现了隐私保护和鲁棒性增强。在 MNIST 数据集上的实验表明，Cre-DPSIGN 在隐私预算 
    $\epsilon$ = 0.4的条件下，准确率达到 81.83\%，显著优于传统方法（SGD、DP-RSA）。针对符号翻转攻击和同值攻击的鲁棒性验证表明，Cre-DPSIGN 能有效抵御复杂的拜占庭攻击。
    \item \textbf{不足与未来方向}：
    区块链的引入尽管增强了系统的透明性和去中心化特性，但由于区块链自身的存储和计算开销较高，可能限制其在大规模分布式环境中的实际部署。未来的研究可以探索轻量化区块链技术，减少区块链在存储和计算上的开销。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：An Online Learning Approach for Client Selection in Federated Edge Learning under Budget Constraint\cite{su_online_2023}
    \item \textbf{研究问题}：这篇论文解决了在联邦边缘学习中如何高效选择客户端和控制训练迭代次数的问题，特别是在预算有限的情况下。
    论文提出了一种新的在线学习框架（FedL），通过实时地根据当前的系统状态和历史学习结果，动态选择客户端并控制训练过程，以确保在预算限制下达到较高的训练效率和较好的模型质量。
    \item \textbf{方法与技术}：在方法与技术方面，论文提出的FedL框架采用了两个核心技术：在线学习算法和在线舍入算法。
    首先，FedL提出了一种在线学习算法，能够在没有先验知识的情况下，根据历史学习结果和当前的客户端信息，动态决定每一轮的客户端选择和本地训练迭代次数。相比于传统方法，FedL能够处理实时变化的客户端状态和不确定的网络条件，避免了静态决策带来的资源浪费和性能下降。
    
    其次，论文还提出了一种在线舍入算法，用于将在线学习算法产生的分数决策转化为整数，以满足实际约束条件。该舍入算法不仅确保了决策的可行性，还能够保证分数决策的期望值和实际舍入后的整数值相一致，从而在实际应用中实现了更加稳定和高效的学习过程。这些创新方法的优势在于它们能够根据实时数据调整决策，避免了静态客户端选择策略的局限性，同时在预算约束下最大限度地提高了训练效率，达到了比传统方法更高的准确率和更短的训练时间。

    \item \textbf{主要贡献}：论文首次提出了动态后悔和动态拟合的概念，详细分析了FedL在在线决策过程中如何平衡训练时间、客户端选择和预算限制，并证明了该算法的动态后悔和动态拟合具有子线性上界，确保了随着时间的推移，FedL的决策接近最优解。FedL通过在真实数据集上的实验验证，展示了其在动态客户端选择、模型收敛性和预算管理方面的优越性。与传统方法相比，FedL能够在相同训练时间内提高2\%至15\%的准确率，并且在达到目标准确率时，减少了至少38\%的训练时间。
    \item \textbf{不足与未来方向}：论文假设了客户端的成本是已知的，但在实际应用中，客户端的租赁成本可能会有较大的波动，尤其是在边缘计算环境下，如何动态调整成本模型以适应实际情况仍然值得深入考虑。
    \\ 未来的研究可以考虑引入选择公平性，使得客户端选择更加均衡，避免某些客户端因选择策略的偏差而过度参与或长期不参与，从而进一步提高算法的性能和公平性。
\end{itemize}

\subsection{主题 2：硬件优化与协调设计}

\subsubsection{ICPP}
\begin{itemize}
    \item Ye等\cite{ye_eco-fl_2023}提出的\textit{Eco-FL}框架通过高效的边缘协作流水线训练提升了IoT设备上的联邦学习效率。
\end{itemize}
\begin{itemize}
    \item \textbf{论文标题}：Eco-FL: Adaptive Federated Learning with Efficient Edge Collaborative Pipeline Training\cite{ye_eco-fl_2023}
    \item \textbf{研究问题}：本论文解决的核心问题是如何在物联网设备和边缘计算环境中高效地实施联邦学习。文章主要关注如何在边缘计算资源有限且数据异构的环境下，利用联邦学习高效地训练深度神经网络（DNN）模型。针对此问题，本文提出了一种名为Eco-FL的新框架，通过引入边缘协作流水线训练和自适应客户端分组以提高训练效率并增强全局模型的收敛性。
    \item \textbf{方法与技术}：论文采用了几种创新性的技术来提高联邦学习在边缘计算环境中的应用效率。
    \\ 首先，边缘协作流水线训练（Edge Collaborative Pipeline Training）是一项关键技术，它通过将DNN模型分割成多个层，并将这些层分配到不同的边缘设备上进行流水线并行计算，从而提高计算效率，避免了因单一设备性能瓶颈导致的训练延迟。边缘协作流水线训练能够充分利用邻近设备的空闲计算资源，尤其是在家庭或办公室等小范围环境中，通过边缘设备协作加速本地模型训练，从而显著减少训练时间并提高系统吞吐量。
    \\ 其次，论文提出的自适应客户端分组（Adaptive Client Grouping）技术，在传统的分组策略基础上进行了改进，考虑了设备的响应延迟和数据分布，动态调整客户端的分组，确保每个组内的设备在计算能力和数据特征上具有一致性。
    这一创新方法有效地解决了系统异构性和数据异构性带来的挑战，通过合理分配设备和数据，避免了由设备差异和数据不平衡导致的训练不稳定性。
    \item \textbf{主要贡献}：本论文的主要贡献在于提出了一个新的联邦学习框架——Eco-FL，通过创新的边缘协作流水线训练和自适应客户端分组，成功地解决了联邦学习在边缘设备上面临的性能瓶颈和数据不均问题。与传统的联邦学习方法相比，Eco-FL在训练准确率、训练时间和吞吐量方面均有显著提升。实验结果表明，Eco-FL能够将训练准确率提升多达26.3\%，并将本地训练时间减少高达61.5\%，吞吐量提高了2.6倍。
    \item \textbf{不足与未来方向}：尽管该框架通过边缘协作流水线和自适应分组有效减少了训练时间并提高了吞吐量，但设备间的通信延迟仍然是一个制约因素。在实际部署中，边缘设备之间的网络带宽可能会受到限制，这会影响数据同步和模型更新的速度。
    \\ 未来可以考虑在下面几个方面进行优化：一是优化通信机制，特别是在设备间带宽有限的情况下，探索更加高效的数据传输和模型同步方法；二是引入更多动态适应性，通过更细粒度的资源感知和实时调度进一步提升系统的灵活性和智能化，尤其是在设备和数据分布高度动态的环境。
\end{itemize}


\section{会议比较与总结}
\subsection{交叉研究点}
    在分析ICPP会议中关于联邦学习的研究时，可以明显看到多个研究交叉点：
    \begin{enumerate}
        \item 异构设备上的模型优化：如\textit{HASFL}\cite{hao_hasfl_2024}和\textit{ChronusFed}\cite{xia_chronusfed_2024}分别通过模型结构异构性支持和动态部分训练优化了在资源受限环境中的训练效率。
        这些方法通过考虑设备异构性和动态资源适配，提升了整体系统的灵活性和适用性。
        \item 数据异质性的处理：\textit{FedClust}\cite{islam_fedclust_2024}和\textit{FedDRL}\cite{nguyen_feddrl_2022}在处理非独立同分布数据方面提出了创新性解决方案，前者通过客户聚类优化模型精度，后者利用深度强化学习自适应调节客户的影响因子，改善了模型收敛性。
    \end{enumerate}

\subsection{差异总结}
\begin{itemize}
    \item ICPP会议在研究方向上展现出多样化的特点，但总体可归结为以下几个侧重点：
    \begin{enumerate}
        \item 侧重异构环境：\textit{HASFL}\cite{hao_hasfl_2024}和\textit{Eco-FL}\cite{ye_eco-fl_2023}等研究重点是如何在异构计算环境下优化联邦学习的效率。这些研究通常关注设备的异构性和资源分配策略，以提高训练效率和模型性能。
        \item 个性化与自适应联邦学习：如\textit{pFedZO}\cite{chen_gradient_2024}和\textit{pFedAMF}\cite{yao_rethinking_2024}，这些研究致力于在联邦学习中实现个性化模型优化，通过自适应策略和个性化模型融合，提高在异构数据环境中的模型表现。
    \end{enumerate}
\end{itemize}

\section{研究趋势与挑战}
\subsection{研究趋势}
近年来，ICPP会议中的分布式学习研究展现出以下几个明显的趋势：
\begin{itemize}
    \item 趋势1：个性化和自适应联邦学习的兴起
    \\ 随着联邦学习面临的非独立同分布问题越来越突出，许多研究开始关注如何为每个客户端定制个性化模型。
    例如，\textit{pFedZO}\cite{chen_gradient_2024}和\textit{pFedAMF}\cite{yao_rethinking_2024}提出的个性化框架通过深度学习和自适应知识融合机制，能够处理具有不同数据分布的设备，从而在保证隐私的同时优化模型性能。
    \item 趋势2：隐私保护技术与分布式学习的结合
    \\ 随着数据隐私问题日益严峻，越来越多的研究集中于如何在保证隐私的前提下进行高效的分布式学习。
    例如，\textit{Cre-DPSIGN}\cite{du_credit-based_2023}通过结合区块链技术和差分隐私机制，在保证隐私的同时提高了系统的鲁棒性，避免了成员推断攻击等隐私泄露风险。
    同时，\textit{Blurred Data Sharing Federal Edge Learning}算法\cite{li_federated_2024}提出的模糊数据或伪数据共享策略，进一步提升了模型的准确性和隐私保护能力，尤其适用于移动设备资源受限的场景。
\end{itemize}

\subsection{领域挑战}
\begin{itemize}
    \item 挑战1：数据异质性对模型性能的影响
    \\ 分布式学习中的数据异质性，特别是在非IID数据环境下，会对模型的训练过程和精度造成负面影响。尽管有些研究（如\textit{FedClust}）提出了通过客户端聚类来缓解数据异质性问题，但如何在大规模异构数据环境下保持模型的准确性和收敛速度仍然是一个开放问题。
    如何在保证数据隐私的同时有效解决数据异质性，并设计适应性强的聚合算法，是未来研究的重要方向。
    \item 挑战2：通信瓶颈与训练效率
    \\ 在大规模分布式系统中，尤其是在移动边缘计算和IoT设备等资源受限的环境中，通信瓶颈仍然是制约联邦学习效率的关键因素。如何优化通信协议、减少通信次数并提高带宽利用率，以应对大量设备的并行训练需求，是当前面临的挑战之一。
    例如，\textit{FedCA}提出的客户端自主决策机制，允许设备提前上传其更新，从而减少了通信延迟，但在大规模设备环境下，如何进一步优化这种机制以应对高并发依然需要深入研究。
\end{itemize}


\section{总结与展望}
\subsection{总结}
本文综述了\textit{ICPP}的研究贡献，总结了跨会议的研究动态。

\subsection{未来展望}
随着联邦学习技术的不断发展及其在多个领域应用的逐渐深入，未来的研究和应用可能会朝以下几个方向发展：
\begin{itemize}
    \item 个性化与自适应模型优化个性化与自适应模型优化
    \\ 个性化模型优化是解决数据异质性问题的重要方向。未来的研究可以在现有框架（如\textit{pFedZO}和\textit{pFedAMF}）的基础上，
    进一步探索如何在个性化和全局模型之间实现更高效的知识传递和融合。自适应模型优化也将成为重点，利用实时数据和反馈调整模型参数和结构，以适应不断变化的环境和用户需求。这要求开发出更灵活的策略来调整模型更新频率和深度，以满足不同应用场景的需求。
    \item 隐私保护与安全性
    \\ 随着对数据隐私和安全性的关注不断增加，未来的FL研究将更加注重隐私保护技术的创新。
    如何在保护数据隐私的同时，保证模型的高效训练和准确性是一个重要的研究方向。
    未来的研究可以探索更多隐私保护机制，如同态加密和多方安全计算，以及如何在不增加过多计算和通信开销的情况下实现这些保护。
\end{itemize}

\bibliographystyle{IEEEtran}
\bibliography{references}

\end{document}
